idea hadoop 开发环境

最近自己搭建了一个小群集整理了下hadoop的开发环境

构建项目

构建的时候选择maven项目

maven的配置

https://github.com/yishenggudou/examplehadoop/blob/master/pom.xml

编译

编译的时候用了maven-assembly-plugin 插件可以直接打包成依赖包

运行

copy 文件到hadoop群集机器之后

hadoop jar xx.jar $1 $2

代码

整个测试的代码在
https://github.com/yishenggudou/examplehadoop